AI Papers Daily

#late interaction

4 篇

FLINT: Fixed-budget Late Interaction

FLINT：固定预算迟交互检索架构

🧭 多向量检索 · 效率优化

University of Illinois Urbana-Champaign · University of California, Berkeley

通过对称注意力池化，将查询和文档压缩为固定数量向量，大幅减少多向量检索的存储和计算开销

📌 工作参考价值（4 点）

• 商品/内容召回：多向量模型（如 ColBERT）在电商搜索中效果优于单向量，但索引存储巨大。可借鉴 FLINT 的固定预算池化，将商品标题、描述压缩为固定 \(k\) 个向量，索引大小相对 ColBERTv2 降低 5.3-9.3 倍，适合大规模商品库部署。
• 查询侧对称池化：不仅池化文档，也池化 query，减少在线 query 编码向量数和匹配计算量。在长查询、对话式搜索或多轮交互生成的查询场景下，端到端检索比 ConstBERT 快 1.5-2.8 倍，适合 Agent 触发的复杂搜索请求。
• 架构无关的池化设计：FLINT 在 BERT 和 ModernBERT 上都有效，说明池化策略可以独立于编码器骨干。实际落地时可选用更轻量的 ModernBERT 等骨干，进一步降低延迟。
• 若现有系统已使用 ColBERT 风格检索，可将 FLINT 作为召回或粗排组件，在不显著损失效果的前提下降低存储和计算成本，尤其适合索引频繁更新的电商场景。

RecSys | 2026-10-19 | cs.IR | score 7/10

multi-vector retrievallate interactionColBERTattention poolingefficiency

RetrievalRouter: Joint Modality and Architecture Selection for Document Retrieval

RetrievalRouter: 联合模态与架构选择的文档检索路由

🧭 检索召回 · 查询路由 · 效率优化

SAMOV AR, Télécom SudParis, Institut Polytechnique de Paris · Özyeğin University

轻量 query-aware 路由仅凭查询文本选择最优检索管道，在精度和延迟上同时超越静态基线

📌 工作参考价值（4 点）

• 电商搜索多路召回可借鉴其动态路由：简单 query（品牌词、短词）走轻量双塔或倒排，复杂 query 路由到多模态/交互式重排。用一个轻量分类器仅依赖 query 文本做路由，无需动底层模型，单参数即可在线调节成本和收益。
• 若业务中有文本嵌入、多模态嵌入、dense 与 late-interaction 等多种检索管道，不要全局固定一个。构建候选 pipeline 池，用 query-aware router 联合选择模态和架构，比简单级联更灵活、时延更可控。
• 单参数 accuracy-latency 前沿的思路可直接用于 SLA 对齐：置信度阈值决定多少 query 走 expensive path，能直观给出成本—精度曲线，方便与预算、p99 时延等业务约束权衡。
• 论文路由只用 query 文本，开销极低，适合在线推理。电商场景可扩展轻量特征（query 长度、类目、用户历史）提升路由准确度，仍保持低延迟。

RecSys | 2026-08-25 | HF Daily | score 7/10

query routingdocument retrievalmultimodaldense retrievallate interactionlatency-accuracy tradeoff

Learn to Pool: Lightweight Fine-Tuning for Flexible Multi-Vector Compression

轻量微调实现灵活多向量压缩的池化学习

🧭 多向量检索模型轻量压缩微调

Independent Researcher

用轻量微调与k-means池化让ColBERT压缩83%向量而不损失检索精度

📌 工作参考价值（4 点）

• 在电商搜索或推荐的多向量模型（如 ColBERT）中，直接用 k-means 聚类池化加轻量微调，可将文档向量压缩 80%+，大幅降低线上存储与召回延迟。
• 多因子训练让单一模型同时适配不同压缩级别，可根据业务场景灵活切换（粗排高压缩，精排低压缩），无需维护多套模型。
• 只需少量目标域数据微调（而非全量对比学习），适合在业务中快速迭代，将通用检索能力迁移到垂直领域。
• 池化策略具备跨数据集迁移能力，可用通用数据预训练池化头，再在电商 query-doc 对上调优，减少冷启动成本。

RecSys | 2026-07-07 | cs.IR | score 7/10

late interactionmulti-vectortoken poolingvector compressionlightweight fine-tuningColBERT

Do All Visual Tokens Matter Equally? Object-Evidence Preserving Token Merging for Vision-Language Retrieval

对象感知的视觉token合并：多向量VL检索的高效压缩

🧭 多向量视觉-语言检索中的对象感知token压缩

The Catholic University of Korea · Korea University · AIGEN Sciences Inc.

提出对象感知token合并框架SaMer，在MaxSim下将视觉token压缩至K个质心，减少16.09×存储并提升R@1

📌 工作参考价值（4 点）

• 可迁移到电商多模态搜索索引压缩：商品图片的 ColPali 表示通常 token 量极大，SaMer 的对象感知合并能保留关键物体证据，缩减索引存储 16 倍, 适合大规模商品库的轻量化多向量检索。
• 训练时仅需对象标注，推理时零开销：借鉴其合并先验设计，可在商品多模态模型训练阶段利用目标检测或分割标注指导 token 合并，推理阶段无需检测器，直接端到端压缩，实现低成本部署。
• MaxSim 友好压缩策略：SaMer 通过聚类形成语义质心而非直接丢弃 token，确保每个质心覆盖不同对象区域，使查询仍能匹配到细粒度证据，这比传统剪枝/池化更适合电商搜索中属性或区域敏感的匹配（如 logo、文本区域）。
• 可与现有双塔架构兼容：只需微调共享投影层，冻结视觉与文本主干，改动量极小，适合在已有的 ColPali/ColQwen 商品检索服务中插入，快速获得压缩与精度收益。

Multimodal | 2026-07-06 | cs.IR | score 7/10

token merginglate interactionvision-language retrievalColPaliobject evidencestorage efficiency